Khalip Ali bin Abu Talib mất vào năm thứ 40 (theo lịch Hồi giáo), ba năm sau khi ông đánh bại quân ly khai. Ông chết dưới lưỡi gươm có tẩm thuốc độc của bin Muljam al-Muradi, một kẻ cuồng tín Kharijites trong khi ông đang ra ngoài đánh thức mọi người ngủ dậy chuẩn bị hành lễ đêm ngày 19 tháng Ramadan. Không cưỡng nổi vết thương độc hại của hung thủ, Ali trút hơi thở cuối cùng vào xế chiều ngày thứ sáu 21, hưởng thọ 63 tuổi. Hai người con trai của ông là al-Hassan và al-Hussain đã thực hiện một nghi thức tôn giáo an táng cho cha ở nghĩa trang al-Ghari, Koufa. Sau khi chôn cất mộ phần của ông không lưu lại một vết tích gì cả, đây cũng là ý nguyện cuối cùng của ông.

Ali bin Abu Talib đã qua đời trong một nhiệm kỳ ảm đạm và ngắn ngủi. Trong 6 năm cầm quyền, mục tiêu chủ yếu của ông là bảo vệ cho sự hợp nhất của người Muslim. Ông đã cố gắng nắm giữ một giềng mối chia rẽ và chặn đứng lại ý đồ phân tán của lãnh thổ Islam.